Nhiệm vụ hoàn thành! Bạn đã thành thạo các khối cơ bản của ngôn ngữ trí tuệ nhân tạo!Chưa đúng lắm! Hãy thử xây dựng lại chuỗi đó nhé!Kiến thức Đã Tải Lên: Token và Chuỗi ... Có phải là ... ? ... Hay là ...
Chúng ta gọi những mảnh nhỏ như thế này mà AI dùng để đọc là gì?
Đúng vậy! Token là những đơn vị nhỏ như "táo," "ing," hay "?" làm nên ngôn ngữ cho AI.
Máy tính biểu diễn một token như thế nào để nó có thể hiểu được?
Đúng rồi! Máy tính chỉ hiểu số, vì vậy mỗi token đều có một số nhận dạng riêng biệt.
Nếu chúng ta có token cho từ "bạn" và "tàu," thì từ "bạn bè" được gọi là gì khi nó là một danh sách các con số?
Chính xác luôn! Một danh sách các con số token theo thứ tự được gọi là chuỗi.
Tại sao thứ tự các token trong một chuỗi lại quan trọng đến vậy?
Chính xác luôn! Cùng một tập hợp token nhưng theo thứ tự khác nhau có thể thay đổi hoàn toàn ý nghĩa của một câu.
Giới hạn về số lượng token mà AI có thể xử lý cùng lúc là bao nhiêu?
Bạn đúng rồi! Cửa sổ Ngữ cảnh là giới hạn về lượng thông tin mà AI có thể "giữ trong đầu" trong suốt một cuộc trò chuyện.
Một dấu chấm câu đơn lẻ, ví dụ như dấu chấm (.), có thể là một token không?
Đúng vậy! Token có thể là từ nguyên vẹn, phần của từ hoặc thậm chí là dấu chấm câu. Mọi thứ đều là một khối xây dựng!
1
Chia tách Token và Chuỗi
EvoClass-AI004Bài giảng 4
0
🤖 Beep Boop! Chào mừng bạn, sĩ quan! Chọn một chủ đề phụ bên dưới để xem cách AI "đọc" thông qua việc chia tách token.
Lệnh Py-BotTRỰC TIẾP
Beep Boop! Xin chào, sĩ quan! Để dạy AI biết đọc, trước tiên chúng ta phải cắt các từ thành những mảnh nhỏ như các viên Lego. Bạn đã sẵn sàng học cách máy tính chuyển đổi từ thành số chưa?
Tiến độ Chủ đề0%
Lựa chọn tuyệt vời! Token giống như một viên gạch Lego. Những từ như "bạn bè" sẽ bị chia thành các phần nhỏ hơn như "bạn" và "tàu." Ngay cả một dấu chấm đơn giản cũng là một token! Với AI, những mảnh nhỏ này dễ xử lý hơn là những câu dài hoàn chỉnh.
1
Chủ đề phụ 1
Token là gì?
Cắt văn bản thành những khối nhỏ như "bạn" và "tàu."
Nhìn vào đây! Khi đã có các token, AI sẽ cấp cho mỗi token một số ID bí mật. Những con số này tạo thành một "chuỗi." Hãy nhớ: thứ tự rất quan trọng! "Con chó cắn người đàn ông" và "Người đàn ông cắn con chó" dùng cùng một tập các khối, nhưng thứ tự lại kể nên một câu chuyện hoàn toàn khác nhau!
2
Chủ đề phụ 2
Sức mạnh của Chuỗi
Biến các khối thành một danh sách toán học nơi thứ tự là điều quan trọng nhất.
Bạn có biết không? AI có một "cửa sổ ngữ cảnh", giống như kích thước bàn tay của nó. Nó chỉ có thể giữ một số lượng nhất định các token trong "đầu óc" của mình cùng lúc trước khi bắt đầu quên phần đầu tiên!
Bạn có biết không?
AI có một "cửa sổ ngữ cảnh", giống như kích thước bàn tay của nó. Nó chỉ có thể giữ một số lượng nhất định các token trong "đầu óc" của mình cùng lúc trước khi bắt đầu quên phần đầu tiên!
Đang tải...
⭐⭐⭐

Nhiệm vụ Hoàn Thành!

Bạn là bậc thầy về Token!